De metro noventa y nueve centímetros de altura, jugó al fútbol americano en la Universidad de San Diego State y posteriormente, durante cinco años, en la NFL. Mientras estaba en la NFL, Duff estuvo en la plantilla de varios equipos, entre los que destacan los New York Giants y los Washington Redskins.

Antes de ser elegido para interpretar a Me'Shell, el brazo derecho de Ben Stiller en CUESTIÓN DE PELOTAS, Duff intervino en la película de acción motera "Torque: Rodando al límite"; en "Tesoro del Amazonas", protagonizada por The Rock; en "S.W.A.T. (Los hombres de Harrelson)", protagonizada por Samuel L. Jackson y Colin Farrell; en "El Padrino"; y en "Golpea o muere".

Duff es también un artista de gran talento, y se dedica a la ilustración gráfica, la pintura y la escultura.